Time-series anomaly detection is an important task and has been widely applied in the industry. Since manual data annotation is expensive and inefficient, most applications adopt unsupervised anomaly detection methods, but the results are usually sub-optimal and unsatisfactory to end customers. Weak supervision is a promising paradigm for obtaining considerable labels in a low-cost way, which enables the customers to label data by writing heuristic rules rather than annotating each instance individually. However, in the time-series domain, it is hard for people to write reasonable labeling functions as the time-series data is numerically continuous and difficult to be understood. In this paper, we propose a Label-Efficient Interactive Time-Series Anomaly Detection (LEIAD) system, which enables a user to improve the results of unsupervised anomaly detection by performing only a small amount of interactions with the system. To achieve this goal, the system integrates weak supervision and active learning collaboratively while generating labeling functions automatically using only a few labeled data. All of these techniques are complementary and can promote each other in a reinforced manner. We conduct experiments on three time-series anomaly detection datasets, demonstrating that the proposed system is superior to existing solutions in both weak supervision and active learning areas. Also, the system has been tested in a real scenario in industry to show its practicality.
translated by 谷歌翻译
脑膜瘤等级的术前和非侵入性预测在临床实践中很重要,因为它直接影响临床决策。更重要的是,脑膜瘤中的大脑侵袭(即,在相邻脑组织中存在肿瘤组织)是脑膜瘤分级的独立标准,并影响了治疗策略。尽管据报道已经努力解决这两个任务,但其中大多数依赖于手工制作的功能,并且没有尝试同时利用这两个预测任务。在本文中,我们提出了一种新型的任务意识到的对比学习算法,以共同预测来自多模式MRI的脑膜瘤等级和脑部侵袭。基于基本的多任务学习框架,我们的关键思想是采用对比度学习策略,以将图像功能分解为特定于任务的功能和任务遵守功能,并明确利用其固有的连接以改善两个预测任务的功能表示形式。在这项回顾性研究中,收集了一个MRI数据集,通过病理分析,有800名患者(含有148个高级,62名侵袭)患有脑膜瘤。实验结果表明,所提出的算法的表现优于替代性多任务学习方法,其AUCS分别为0:8870和0:9787,分别用于预测脑膜瘤等级和脑部侵袭。该代码可在https://github.com/isdling/predicttcl上找到。
translated by 谷歌翻译
多模式MR成像通常用于临床实践中,以通过提供丰富的互补信息来诊断和研究脑肿瘤。以前的多模式MRI分割方法通常通过在网络的早期/中阶段连接多模式MRIS来执行模态融合,这几乎无法探索模态之间的非线性依赖性。在这项工作中,我们提出了一种新型的嵌套模态感知变压器(嵌套形式),以明确探索多模式MRIS在脑肿瘤分割中的模式内和模式间关系。我们建立在基于变压器的多模型和单一码头结构的基础上,我们对不同模式的高级表示进行嵌套的多模式融合,并在较低的尺度上应用对模态敏感的门控(MSG),以进行更有效的跳过连接。具体而言,多模式融合是在我们提出的嵌套模态感知特征聚合(NMAFA)模块中进行的,该模块通过三个方向的空间意见变压器增强了单个模态内的长期依赖性,并进一步补充了模态信息之间的关键情境信息。通过跨模式注意变压器。关于BRATS2020基准和私人脑膜瘤细分(Maniseg)数据集的广泛实验表明,嵌套形式显然比最先进的表现优于最先进的。该代码可从https://github.com/920232796/nestedformer获得。
translated by 谷歌翻译
方面情感三胞胎提取(ASTE)旨在提取方面,意见及其情感关系作为情感三胞胎的跨度。现有的作品通常将跨度检测作为1D令牌标记问题制定,并使用令牌对的2D标记矩阵对情感识别进行建模。此外,通过利用诸如伯特(Bert)之类的审计语言编码器(PLES)的代表形式,它们可以实现更好的性能。但是,他们只是利用将功能提取器作为提取器来构建其模块,但从未深入了解特定知识所包含的内容。在本文中,我们争辩说,与其进一步设计模块以捕获ASTE的电感偏见,不如包含“足够”的“足够”功能,用于1D和2D标记:(1)令牌表示包含令牌本身的上下文含义,因此此级别,因此此级别功能带有必要的信息以进行1D标记。 (2)不同PLE层的注意力矩阵可以进一步捕获令牌对中存在的多层次语言知识,从而使2D标记受益。 (3)此外,对于简单的转换,这两个功能也可以很容易地转换为2D标记矩阵和1D标记序列。这将进一步提高标签结果。通过这样做,PLE可以是自然的标记框架并实现新的最新状态,通过广泛的实验和深入分析来验证。
translated by 谷歌翻译
本文提出了一种新的模型架构,具有抑制MLP(GIMLP)的门。对CyClemlp(Gi-Cyclemlp)抑制的大门可以在Imagenet分类任务上产生同等的性能,并且还可以改善BERT,ROBERTA和DEBERTAV3型号关于两种新颖的技术。第一个是门控MLP,其中MLP和Trunk注意力输入之间的矩阵乘法在进一步调整模型的适应性中。第二个是抑制作用,它抑制或增强分支调节,并且随着抑制水平的增加,它提供了更大的肌肉特征限制。我们表明,就成像网分类的精度而言,抑制水平较低的GicyClemLP可能与原始CYCLEMLP具有竞争力。此外,我们还通过一项全面的实证研究表明,这些技术显着改善了微调NLU下游任务的性能。至于在Deberta(Gideberta)微调上具有抑制MLP的大门,我们发现它可以在NLU任务的大多数部分上取得吸引力的结果,而无需再进行任何额外的预处理。我们还发现,通过抑制栅极的使用,激活函数应具有短而光滑的负尾巴,而无关紧要的特征或受伤模型的特征可以适度抑制。对图像分类和增强自然语言微调的能力而没有任何额外预读的实验,对Imagenet和十二个语言的实验表明了GATE具有抑制作用的有效性。
translated by 谷歌翻译
零拍学习(ZSL)旨在通过利用所见类和看不见的类之间共享的语义描述来识别看不见的类。当前的方法表明,通过将语义嵌入将视觉空间投射到视觉空间中是类原型,从而有效地学习视觉语义对齐是有效的。但是,这样的投影函数仅与可见的类有关。当应用于看不见的类时,原型通常由于域移位而次优。在本文中,我们建议通过称为LPL的占位符学习原型,以消除看到和看不见的阶级之间的域转移。具体来说,我们将看到的课程结合在一起,以使新课程成为视觉和语义空间中看不见的班级的占位符。占位持有人放置在看到的班级之间,鼓励人们高度分散所见类的原型。插入良好的看不见的空间也可以保留更多的空间。从经验上讲,分离良好的原型有助于抵消由域转移引起的视觉声音错位。此外,我们利用一种新颖的面向语义的微调来保证占位符的语义可靠性。在五个基准数据集上进行的广泛实验证明了LPL在最新方法上的显着性能提高。代码可在https://github.com/zaiquanyang/lpl上找到。
translated by 谷歌翻译
面部表达是传达人类情绪状态和意图的重要因素。尽管在面部表达识别任务(FER)任务中已经取得了显着进步,但由于表达模式的巨大变化和不可避免的数据不确定性而引起的挑战仍然存在。在本文中,我们提出了中级表示增强(MRE)和嵌入图形抑制(GUS)的图表,以解决这些问题。一方面,引入MRE是为了避免表达表示学习以有限数量的高度歧视模式主导。另一方面,引入GUS以抑制表示空间中的特征歧义。所提出的方法不仅具有更强的概括能力来处理表达模式的不同变化,而且具有更强的稳健性来捕获表达表示。对AFF-WILD2的实验评估已验证了该方法的有效性。
translated by 谷歌翻译
动态图是指结构随时间变化的图形。尽管学习顶点表示(即嵌入)对动态图的好处,但现有作品仅将动态图视为顶点连接中的一系列变化,忽略了这种动态的至关重要的异步性,在其中每个局部结构的演变都在每个局部结构开始在每个局部结构的演变开始,不同的时间和持续时间在各个持续时间内。为了在图中维持异步结构演变,我们将动态图作为与角度(TOV)和边缘(toe)的时间板相关的时间边缘序列进行创新。然后,提出了一个时间感知的变压器将顶点的动态连接和脚趾嵌入到学习的顶点表示中。同时,我们将每个边缘序列视为一个整体,并嵌入第一个顶点的TOV,以进一步编码时间敏感的信息。在几个数据集上进行了广泛的评估表明,我们的方法在广泛的图形挖掘任务中优于最先进的方法。同时,它非常有效且可扩展,可用于嵌入大规模的动态图。
translated by 谷歌翻译
共享符合跨域顺序推荐(SCSR)是一项新兴而又具有挑战性的任务,在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络(RNN)和图神经网络(GNN),但他们忽略了一个事实,尽管多个用户共享一个帐户,但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外,尽管现有的作品降低了较低的权重与无关紧要的相互作用,但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题,我们提出了一种基于增强学习的解决方案,即RL-ISN,该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言,要在“共享”方案中对帐户表示形式进行建模,基本推荐人首先将用户作为潜在用户的混合行为群,然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响,我们将域过滤器作为层次强化学习任务,在该任务中,使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能,我们对两个现实世界数据集进行了广泛的实验,并且实验结果证明了与最先进的建议方法相比,我们的RL-ISN方法的优越性。
translated by 谷歌翻译
共享符号跨域顺序推荐(SCSR)任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务,它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络(RNN)模型的采矿顺序模式,这些模型受到以下局限性:1)基于RNN的方法,基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2)所有现有方法通过潜在空间中的知识转移桥接两个域,并忽略显式的跨域图结构。 3)没有现有研究考虑项目之间的时间间隔信息,这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中,我们提出了一种新的基于图的解决方案,即TIDA-GCN,以应对上述挑战。具体来说,我们首先将每个域中的用户和项目链接为图。然后,我们设计了一个域感知图形卷积网络,以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好,进一步开发了两个有效的注意机制,以选择性地指导消息传递过程。此外,为了进一步增强项目和帐户级的表示学习,我们将时间间隔纳入消息传递中,并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。
translated by 谷歌翻译